气象领域事件挖掘相关问题的研究

【摘要】数据挖掘是从海量数据中发现有价值的规律和信息的一门学科,结合了统计学、数据库、机器学习、优化理论等各个领域的算法和知识。近年来,随着信息化技术的高速发展,大量原始数据被采集,数据挖掘及其在各类交叉学科的应用研究已经越来越受到研究界以及企业界的重视。其中,空间数据与时间序列数据均为常见的数据类型,广泛存在于地理信息系统,传感器网络,股票市场,和气象领域等等。针对空间数据、时间序列数据的基础算法研究,以及与其它学科领域相结合的应用研究一直以来都是数据挖掘的热点问题。气象领域是数据挖掘技术应用研究的一个新兴的领域,而气象事件挖掘是其中一个重点研究方向。气象事件的挖掘研究可以为人们生产生活的各种行为决策提供及时且坚实的数据支持,具有极其重要的现实意义。因此,本文以气象领域为研究背景,以常见的气象数据如时间序列、空间数据、时空数据等为研究的数据对象,就气象事件挖掘的相关问题展开研究。具体来说,本文主要专注于空间数据聚类分析、时间序列符号化表示等基础算法研究,并针对气象领域特定事件挖掘等具体需求做算法和框架的设计。本文主要的研究成果如下：(1)提出了一个空间数据聚类分析算法Yupc。受自然界粒子在势能场下相互吸引的动态过程的启发,本文提出一种全新的基于汤川势的动态聚类算法Yupc。该算法既不需要事先假设数据初始分布,也不需要用户指定簇的个数,可以检测出不同形状、大小、密度、数量、以及分布的簇,反映出原始数据集本质内在结构特点。同时,为了解决聚类算法的参数设置问题,本文还提出一个自动搜寻最佳参数的框架,以做到自动聚类分析。在人造数据集和真实数据集上的实验表明,Yupc的聚类效果优于现有算法,尤其擅于处理同时包含了多种簇的数据集。(2)设计了一个时间序列符号化表示算法rSAX。时间序列符号化表示是处理高维时间序列的一种常用方法,可以在保留时间序列特征的前提下大大降低数据的维度,以便后续的分析挖掘。SAX是一个经典的符号化表示算法,被广泛用于时间序列分析的各个领域。但是SAX总是使用确定的分割点来映射时间序列,这使得邻近分割点的相似对象难以被合适的表达出来,还会影响TLB下界的紧度。为了解决这个问题,本文提出了一种基于随机偏移的符号化表示算法rSAX。该算法通过随机偏移算法生成“软边界”而非传统算法的“硬边界”,使得越为相似的对象点将有越高的概率被映射成同一个符号,进而做到更好TLB界而无需加大表达粒度。同时,本文从理论证明了rSAX与经典算法SAX相比,可以做到更好的映射效果和更紧的TLB界。最后,在真实数据集上的实验验证了rSAX的有效性和效率。(3)为气象领域协同异常事件挖掘提出了一个挖掘框架。气象领域的温度序列是时间序列的一种。历史多维温度序列记录了多年来各地气温随时间变化的趋势和细节,同时隐含了很多重要的事件信息。其中,协同异常(co-anomaly)事件便是重要的气象现象之一,表现为相似异常模式同时刻发生在不同的温度序列上。这类协同异常事件在理解气象行业异常气象行为以及自然灾害方面扮演了非常重要的角色。然而,由于温度序列自身独特性质,自动挖掘气象领域协同异常事件是一个尚待解决的问题。为此,本文提出一个全新的算法框架Sevent来从多维温度序列中自动检测协同异常气象事件。具体的思想如下,首先把原始温度序列投影成符号式表达；然后,通过统计显著性检验从中检测协同异常模式；最后从协同异常模式中生成可覆盖不同子维度以及不同子序列的协同异常事件。在真实数据集上的实验结果清楚地验证了Sevent的有效性。(4)为气象领域高温热浪事件设计了一个基于时空聚类的挖掘算法。气象领域的事件挖掘面临着各种各样的气象场景和需求。高温热浪便是其中一类重要的事件。对时空温度数据进行自动高温事件挖掘,可以帮助气象专家们对历史上各起高温热浪覆盖的时间和空间范围做界定,从而对高温热浪的起因及演化做进一步的研究。事件时空区域挖掘同时也是数据挖掘领域一类重要的问题,在各种自然、社会学科中有着广泛的应用。传统的事件时空区域挖掘算法多基于时空聚类分析,当事件覆盖的区域不规则,且随着时间推移而呈现出各种演变时难以准确对其进行捕获和挖掘；同时各项参数的合理设置也是众多已有算法所面临的问题。为了准确捕获事件时空区域,本文提出了一种新的自动优化参数的事件时空区域挖掘算法Gtem。与最小描述长度原理相结合,Gtem能自动优化各项参数设置,依据数据对象间时空相关性捕获事件随时间推移的演化趋势,挖掘起始、经过及终止过程的各种不规则形状的时空覆盖区域,同时找出孤立点。通过采用真实时空温度数据集进行高温热浪事件挖掘,验证了算法的可行性和有效性。
【作者】白雪；
【导师】朱扬勇；
【作者基本信息】复旦大学，计算机软件与理论，2013，博士
【关键词】气象数据挖掘；事件挖掘；时间序列分析；聚类分析；时空聚类分析；

【参考文献】
[1]张慧.基于低成本无色ONU的OFDM无源光网络研究[D].华中科技大学,光电信息工程,2013,硕士.
[2]秦飞,汪荣贵,梁启香,张冬梅,李想.基于关键特征点的改进TLD目标跟踪算法研究[J].计算机工程与应用.
[3]金莹,邓三鸿,李勇.决策支持技术在电子政务中的应用——以大社保领域为例[J].现代图书情报技术,2004,09:66-69.
[4]姜开鹏,张汉松.加快灌区信息化建设促进灌区的改革与发展[J].水利规划与设计.2004(01)
[5]杨炽华.论我国国有资产管理体制的完善[D].西南政法大学,经济法学（专业学位）,2012,硕士.
[6]宋晓霞,石光明.满足重构概率约束的更少贝努利观测[J].自动化学报,2013,01:53-56.
[7]杨厉昆.深海热液区探测用浊度仪的研制[D].杭州电子科技大学,机械电子工程,2013,硕士.
[8]黄铁明.ZNZ教育培训公司市场营销发展研究[D].南昌大学,工商管理（专业学位）,2012,硕士.
[9]肖哲.北京市普通高校女大学生课外体育锻炼状况及对策研究[D].首都体育学院,体育教学,2013,硕士.
[10]赵琰.我国影子银行发展模式以及监管研究[D].吉林大学,金融学,2014,硕士.
[11]梁爱梅.在华印尼留学生汉语语法偏误辨正能力的培养[D].河北大学,汉语国际教育（专业学位）,2014,硕士.
[12]赵雪雪.面向单一搜索引擎的关键字广告竞价策略研究[D].哈尔滨工业大学,管理科学与工程,2013,硕士.
[13]王鸿.高校学生非正常死亡的民事责任研究[D].沈阳师范大学,法律,2013,硕士.
[14]计时鸣,曾晰,金明生,谭大鹏.基于修正Preston方程的气压砂轮加工特性[J].浙江大学学报(工学版),2013,07:1299-1306.
[15]蒋园媛.云南大理周城甲马艺术研究[D].贵州民族大学,民族学,2012,硕士.
[16]熊启阳.基于IPAD移动终端EMBA教学管理系统的设计与实现[D].北京工业大学,软件工程（专业学位）,2013,硕士.
[17]赵丽茹.我国食品安全的政府监管问题研究[D].天津商业大学,行政管理,2013,硕士.
[18]李晶鑫.教育实习生专业认同调查研究[D].东北师范大学,高等教育学,2012,硕士.
[19]张林.PET/PBT的挤出变化和酯交换研究[D].大连理工大学,高分子化学与物理,2013,硕士.
[20]王国雨.大洼油田东一段油藏地质研究[D].东北石油大学,地质工程（专业学位）,2013,硕士.
[21]程美玲.长江三角洲区域综合交通网络体系研究[D].东华大学,控制理论与工程,2004,硕士.
[22]朱琳.城乡统一人力资源市场构建研究[D].山东财经大学,政治经济学,2012,硕士.
[23]宋超.热固性环氧树脂及其复合材料制备活性炭的研究[D].上海大学,应用化学,2013,硕士.
[24]李星.对外汉语综合课课堂教学案例分析[D].华中师范大学,汉语国际教育,2014,硕士.
[25]张昊.有机硅烷改性介孔二氧化锰制备及吸附除铜机制研究[D].河北科技大学,环境工程,2013,硕士.
[26]孙青.无锡惠山泥人的艺术风格研究[D].景德镇陶瓷学院,美术学,2014,硕士.
[27]冯淑萍.《红楼梦》惯用句的文化缺省及其翻译策略[D].重庆大学,日语语言文学,2014,硕士.
[28]马勇刚.中亚干旱区植被物候研究[D].新疆大学,自然地理学,2014,博士.
[29]马保雷.基于概念漂移检测的自适应流量识别研究[D].哈尔滨工业大学,计算机科学与技术,2013,硕士.
[30]马恩丽.林产品价格信息服务系统研究与实现[D].北京林业大学,管理科学与工程,2013,硕士.
[31]苗恩铭,龚亚运,徐祗尚,周小帅.数控机床热误差补偿模型稳健性比较分析[J].机械工程学报.
[32]谢深洪.岳麓山风景名胜区旅游线路设计研究[D].湖南师范大学,人文地理学,2013,硕士.
[33]闫三锋.基于单片机语音识别系统设计[D].西北工业大学,人机与环境工程,2004,硕士.
[34]马媛.新疆间作果园微气候特征及果树抗寒性研究[D].新疆农业大学,园艺学（专业学位）,2012,硕士.
[35]章君.高密度聚乙烯/聚碳酸酯/相容剂/蒙脱土纳米复合材料制备及性能研究[D].浙江工业大学,2007.
[36]周亚莲.绍兴市农产品质量安全现状调查及检测技术研究[D].浙江大学,植物保护（专业学位）,2012,硕士.
[37]肖博.云计算环境下弹性服务管理框架研究[D].华中科技大学,计算机系统结构,2013,硕士.
[38]续雯雯.核酸类两亲性分子的合成及气液界面性质研究[D].中国石油大学（华东）,化学工程与技术,2012,硕士.
[39]于晓晖.论危险驾驶罪的司法认定[D].大连海事大学,法律,2012,硕士.
[40]孙继涛.多滞后时变区间动力系统的稳定性和衰减率[J].自动化学报,1996,03:362-365.
[41]高雅.新型分子力场的发展及其在蛋白质折叠研究中的应用[D].华东师范大学,原子与分子物理,2014,博士.
[42]欧义.不同烟夹装烟方式对密集烤房烘烤效果的影响[D].湖南农业大学,作物,2012,硕士.
[43]冯晓丹.非平面场景下的运动目标检测方法研究[D].哈尔滨工业大学,控制科学与工程,2013,硕士.
[44]易永辉.基于IEC61850标准的变电站自动化若干关键技术研究[D].浙江大学,2008.
[45]李世华,田玉平.非完整移动机器人的轨迹跟踪控制[J].控制与决策,2002,03:301-305.
[46]陈莉.量子点选择性荧光探针在重金属检测中的应用研究[D].苏州大学,分析化学,2013,硕士.
[47]胡新春.公司法人格否认制度研究[D].华东政法学院,法律,2003,硕士.
[48]陈玉萍.黄芪根腐病病原菌的致病性及其对植株抗逆生理生化指标的影响[D].西北师范大学,植物学,2013,硕士.
[49]宗宁.城市社区水灾脆弱性评估及风险研究[D].华东师范大学,自然地理学,2013,硕士.
[50]杨志锦,宋江云.邵逸夫:6000座逸夫楼的公共记忆[J].中国中小企业,2014,02:52-55.